Interaction Scaling: Grounding the Third Axis of Test-Time Compute
交互缩放:为测试时计算确立第三轴
🧭 Agent 交互范式与评估接地 ★ 深度解读
Pine AI · University of Washington
提出测试时计算的第三轴——交互缩放,用外部工具反馈打破内部计算天花板
📌 工作参考价值(4 点)
- 用可测量的外部仪器替代 VLM 截图评估:在商品图、banner 广告、着陆页等视觉物料生成场景,直接测量 DOM bounding box 检测重叠、溢出、对齐等问题,避免截图裁切导致评估盲区。
- 引入执行反馈闭环提升代码生成:推荐系统配置、排序策略、特征工程等代码模块,可接入 pytest 或类似执行环境,将失败断言与 traceback 作为反馈信号,驱动模型迭代修复直至 100% 通过率。
- Proposer–Reviewer 分离架构控制成本和方差:让提议模型专注生成,审查模型仅接受结构化缺陷信号(如元素重叠列表)而非原始 stderr,可减少约 28% 的 token 消耗并消除种子间方差。
- 内部推理或采样饱和时,转向外部交互获取新信息:当推荐解释、搜索 query 生成等依赖模型已有知识无法进一步提升时,引入可执行的验证工具(如搜索引擎校验、数据库查询)可突破信息天花板。